package io.a.e

import org.apache.spark.{SparkConf, SparkContext}
  
object RDDTransformations {  
  def main(args: Array[String]): Unit = {  
    val conf = new SparkConf().setAppName("RDDTransformations").setMaster("local[*]")  
    val sc = new SparkContext(conf)  
  
    // 创建一个包含100个元素的RDD  
    val rdd = sc.parallelize(Seq.fill(100)(scala.util.Random.nextInt(100)))
    println(rdd)
  
    // 将大于50的元素乘以2，并筛选出大于100的元素  
    val filteredRDD = rdd.filter(_ > 50).map(_ * 2).filter(_ > 100)  
  
    // 收集结果并打印  
    filteredRDD.collect().foreach(println)  
  
    sc.stop()  
  }  
}